解释方法已成为突出导致神经网络预测的功能的重要工具。有越来越多的证据表明,许多解释方法相当不可靠,并且容易受到恶意操纵的影响。在本文中,我们尤其旨在了解文本模式中解释方法的鲁棒性。我们提供了最初的见解和结果,以设计成功的对抗性攻击文本解释。据我们所知,这是评估解释方法的对抗性鲁棒性的首次尝试。我们的实验表明,解释方法可能会在很大程度上被打扰,最多可以在86%的测试样品中受到输入句子及其语义的较小变化。
translated by 谷歌翻译
后门攻击误导机器学习模型以在测试时间呈现特定触发时输出攻击者指定的类。这些攻击需要毒害训练数据来损害学习算法,例如,通过将包含触发器的中毒样本注入训练集中,以及所需的类标签。尽管对后门攻击和防御的研究数量越来越多,但影响后门攻击成功的潜在因素以及它们对学习算法的影响尚未得到很好的理解。在这项工作中,我们的目标是通过揭幕揭示触发样本周围的更光滑的决策功能来阐明这一问题 - 这是我们称之为\ Textit {后门平滑}的现象。为了量化后门平滑,我们定义了一种评估与输入样本周围分类器的预测相关的不确定性的度量。我们的实验表明,当触发器添加到输入样本时,平滑度会增加,并且这种现象更加明显,以获得更成功的攻击。我们还提供了初步证据,后者触发器不是唯一的平滑诱导模式,而是可以通过我们的方法来检测其他人工图案,铺平了解当前防御和设计新颖的局限性。
translated by 谷歌翻译
基于医学图像(例如X射线图像)的诊断通常涉及解剖关键的手动注释。但是,这个过程涉及大量的人类努力,因此可以成为诊断过程中的瓶颈。为了充分自动化此过程,基于深度学习的方法已被广泛提出,并在检测医学图像中的关键点方面达到了高性能。但是,这些方法仍然存在临床局限性:无法保证所有情况的准确性,并且医生必须对所有模型的所有预测进行仔细检查。作为回应,我们提出了一个新颖的深神经网络,鉴于X射线图像,它可以通过用户相互作用的系统自动检测和完善解剖学关键点,在该系统中,医生可以以比手动修订过程中所需的点击率更少的点击量来修复错误预测的关键。使用我们自己的收集数据和公开可用的AASCE数据集,我们证明了该方法通过广泛的定量和定性结果来降低注释成本的有效性。我们的项目网页上提供了有关我们方法的演示视频。
translated by 谷歌翻译
我们为场景的生成模型提出了一个无监督的中级表示。该表示是中等水平的,因为它既不是人均也不是每图像。相反,场景被建模为一系列空间,深度订购的特征“斑点”。斑点分化在特征网格上,该特征网格被生成对抗网络解码为图像。由于斑点的空间均匀性和卷积固有的局部性,我们的网络学会了将不同的斑点与场景中的不同实体相关联,并安排这些斑点以捕获场景布局。我们通过证明,尽管没有任何监督训练,但我们的方法启用了诸如场景中的物体(例如,移动,卸下和修复家具),创建可行场景(例如,可靠的,Plaausible(例如,可靠),我们的方法可以轻松地操纵对象(例如,可行的情况)来证明这种紧急行为。带抽屉在特定位置的房间),将现实世界图像解析为组成部分。在充满挑战的室内场景的多类数据集上,Blobgan在FID测量的图像质量中优于图像质量。有关视频结果和交互式演示,请参见我们的项目页面:https://www.dave.ml/blobgan
translated by 谷歌翻译
Tweedie分布是指数色散模型的特殊情况,它通常用于古典统计作为广义线性模型的分布。在这里,我们揭示了Tweedie发行版也在现代深度学习时代发挥关键作用,导致分布独立的自我监督图像去噪公式,没有清洁参考图像。具体地,通过与最近的噪声2Score自我监督的图像去噪方法和旋转点分布的鞍点近似来组合,我们可以提供一种可以用于大类噪声分布的一般封闭式去噪公式,而不知道底层噪声分布。与原始噪声2Score类似,新方法由两个连续的步骤组成:使用扰动噪声图像的分数匹配,然后是通过分布无关的Tweedie公式的闭合形式图像去噪公式。这还提出了一种系统算法来估计给定嘈杂的图像数据集的噪声模型和噪声参数。通过广泛的实验,我们证明了所提出的方法可以准确地估计噪声模型和参数,并在基准数据集和现实世界数据集中提供最先进的自我监督图像去噪表现。
translated by 谷歌翻译
培训监督图像综合模型需要批评评论权来比较两个图像:结果的原始真相。然而,这种基本功能仍然是一个公开问题。流行的方法使用L1(平均绝对误差)丢失,或者在预先预留的深网络的像素或特征空间中。然而,我们观察到这些损失倾向于产生过度模糊和灰色的图像,以及其他技术,如GAN需要用于对抗这些伪影。在这项工作中,我们介绍了一种基于信息理论的方法来测量两个图像之间的相似性。我们认为,良好的重建应该具有较高的相互信息与地面真相。这种观点使得能够以对比的方式学习轻量级批评者以“校准”特征空间,使得相应的空间贴片的重建被置于擦除其他贴片。我们表明,当用作L1损耗的替代时,我们的配方立即提升输出图像的感知现实主义,有或没有额外的GaN丢失。
translated by 谷歌翻译
In image-to-image translation, each patch in the output should reflect the content of the corresponding patch in the input, independent of domain. We propose a straightforward method for doing so -maximizing mutual information between the two, using a framework based on contrastive learning. The method encourages two elements (corresponding patches) to map to a similar point in a learned feature space, relative to other elements (other patches) in the dataset, referred to as negatives. We explore several critical design choices for making contrastive learning effective in the image synthesis setting. Notably, we use a multilayer, patch-based approach, rather than operate on entire images. Furthermore, we draw negatives from within the input image itself, rather than from the rest of the dataset. We demonstrate that our framework enables one-sided translation in the unpaired image-to-image translation setting, while improving quality and reducing training time. In addition, our method can even be extended to the training setting where each "domain" is only a single image.
translated by 谷歌翻译
Domain adaptation is critical for success in new, unseen environments. Adversarial adaptation models applied in feature spaces discover domain invariant representations, but are difficult to visualize and sometimes fail to capture pixel-level and low-level domain shifts. Recent work has shown that generative adversarial networks combined with cycle-consistency constraints are surprisingly effective at mapping images between domains, even without the use of aligned image pairs. We propose a novel discriminatively-trained Cycle-Consistent Adversarial Domain Adaptation model. CyCADA adapts representations at both the pixel-level and feature-level, enforces cycle-consistency while leveraging a task loss, and does not require aligned pairs. Our model can be applied in a variety of visual recognition and prediction settings. We show new state-of-the-art results across multiple adaptation tasks, including digit classification and semantic segmentation of road scenes demonstrating transfer from synthetic to real world domains.
translated by 谷歌翻译